ZoomCap: Evidence-Routed Visual Zooming for Recoverable Visual Information Transfer
ZoomCap：证据路由的视觉缩放实现可恢复视觉信息传递
🧭 视觉caption生成与事实评估
Ant Group · Zhejiang University
用草稿路由、自适应缩放和 FactCycle 事实校验生成高密度图像描述，提升 VLM 训练效果
📌 工作参考价值（4 点）
- 借鉴“草稿—缺口恢复—定向补充”策略：在商品图文描述或广告素材理解中，先快速生成初稿，再针对 OCR 密集区域（成分表、注意事项、小标签）和覆盖缺口进行局部放大与二次采集，提升细节覆盖率与可信度。
- 借鉴 FactCycle 事实锚定评估：将生成文案/卖点拆成原子事实，用源商品图和生成图重建做盲评，分离幻觉（虚假宣称）与模型表达能力问题；可用于广告审核、商品描述合规与真实性检查。
- 自适应缩放只对复杂区域分配高分辨率计算，适合处理商品图多尺度信息（瓶身文字、包装细节、模特配饰），控制推理成本；可结合检测器先定位复杂度，再分档裁剪。
- 数据飞轮效果表明，高质量细粒度描述预训练能显著提升下游文档 OCR、感知和医疗 VQA 分数，建议为电商多模态模型构建类似“证据路由”生成的高密度描述数据集，用于持续预训练。